Imagina el esfuerzo de esculpir un cerebro frente a simplemente entregarle un guion. En la era anterior del NLP, Adaptación de dominio era un proceso agotador de Aprendizaje por transferencia o PEFT (Ajuste fino eficiente en parámetros). Tratamos los modelos como arcilla, requiriendo miles de ejemplos etiquetados para modificar físicamente los pesos internos, un proceso que era muy costoso computacionalmente y producía versiones estáticas y altamente especializadas de modelos como BERT.

El catalizador GPT-3

El lanzamiento de GPT-3 marcó un Estado del arte (SOTA) hito. Demostró que aprendizaje en contexto—donde el modelo identifica patrones directamente desde el prompt—a menudo iguala o supera el rendimiento del ajuste fino especializado para tareas generales. Hemos avanzado hacia inferencia basada en prompts, donde la latencia y el costo de las actualizaciones de gradiente se sustituyen por la inyección estratégica de contexto.